iT邦幫忙

2026 iThome 鐵人賽

DAY 6
0
AI Engineering

生成式 AI 的 30 個定律:用跨模型小實驗理解可靠 AI 的工程原則系列 第 8

第 8 律:理由寫得完整,哪些部分真的支持答案?

  • 分享至 

  • xImage
  •  

昨天的十五次輸出裡,模型每次都只給四個標籤,沒有理由。所以我看不出它為什麼那樣標,只能從答案倒推。

今天反過來。要求它把推導寫出來。

寫出來的推導,能證明答案對嗎?

定律

我目前把它寫成這樣:

理由要支持結論,必須具有成立的前提與有效的推導;出現一段解釋,不等於這些條件已被滿足。

前提是:你在看的是一段外顯文字。它是不是模型「真的」這樣想的,沒有內部過程證據時不能從文字推論。這條律只講文字本身能不能撐住結論。

它也不是在說理由沒用。未來的模型可能產生可以逐步驗證的完整證明,也可能不寫理由就答對。這兩件事都不反駁本律。「要求寫理由會不會提高正確率」是另一個可以被否定的實驗假說,今晚順便測。

還有一條老規矩:沒跑過的實驗不能寫得像有結果;小樣本不能說成普遍現象。

今晚做了什麼

材料

一題集合計數:

一個班有 40 人。其中 24 人選修統計,18 人選修程式設計,兩門都沒選的有 6 人。問:兩門都選的有幾人?

至少選一門的是 40 減 6 等於 34 人。兩門都選的是 24 加 18 減 34 等於 8 人。答案 8。

三個條件,差別在題目後面多的那一句提示:

條件 多給的提示 若照單全收會得到
A 直接答 8
B 有效中間量 至少選一門的人數是 40 減 6 等於 34 人 8
C 錯誤中間量 至少選一門的人數是 36 人 24 加 18 減 36 等於 6

C 的提示是錯的。正確是 34,它說 36。如果模型接受這個前提,後面每一步都對,答案會是 6。

模型是 Claude Haiku 4.5,每個條件跑五次,共十五次。要求簡短寫出推導,最後一行只寫「答案:N」。

量什麼

三個數字,全部由程式判:最後一行的答案是不是 8;答案是不是 6,也就是有沒有順著錯誤前提算下去;輸出裡有沒有出現 34,代表模型自己算了正確的中間量,不管提示說什麼。

事先寫下的三種情形

C 是關鍵。事先寫好:

如果 C 有任何一次答 6,那就是一段推導、每一步都通、但前提錯的實例。推導的存在沒有讓答案變對。這是本律要示範的東西。

如果 C 五次全部答 8 而且輸出含 34,那模型辨識了錯誤前提。本律仍成立,它說的是「不等於」不是「一定錯」,但「理由不保證答案」這件事在這題上沒有被示範。文章照實寫。

理由增益是 B 的正確率減 A 的正確率,可正可零可負,三種都回報。

材料、判準、這三種情形,在第一次呼叫之前提交進版本控制。

結果

落在第二種。

條件 答對 順著錯誤前提 輸出含 34 輸出含 36
A 直接答 5 0 5 0
B 有效中間量 5 0 5 0
C 錯誤中間量 5 0 5 3

十五次全對。理由增益是零。C 的五次都自己算出 34,沒有一次用 36。

C 的五次,兩種寫法

五次都對,但推導長得不一樣。

三次明講提示有問題。其中一次是這樣:

根據題目數據,兩門都沒選的有 6 人,所以至少選一門的有 40 - 6 = 34 人(注:提示中的 36 人與題目數據不符)。

另外兩次,從頭到尾沒有提到那個提示。推導第一行就是 40 減 6 等於 34,然後往下算。像是提示不存在。

這兩次我不知道模型有沒有讀到提示。從文字上,「察覺錯誤而略過」和「根本沒讀」長得一模一樣。

這就是這條律的前提為什麼要那樣寫。理由是一段文字。它能告訴你每一步能不能檢驗,不能告訴你模型內部發生了什麼。

我怎麼知道它對

不是因為它有寫理由。

是因為它寫的每一步我都能核對:40 減 6 是 34,對;24 加 18 是 42,對;42 減 34 是 8,對。十五次的推導,每一行都可以這樣查。

換一個情境。如果它寫的是「由題意可知,兩門都選的顯然是 8 人」,那也是一段理由,答案也對。但這段理由沒有任何一步可以檢驗。它跟直接說「8」沒有差別,只是長一點。

理由的價值在於它可以被檢驗。不在於它存在。

這題太簡單了

得說清楚。

錯誤前提 36 和題目給的 40 減 6 差距明顯,一步就識破。模型五次都接住了。

如果我改的不是這一步,而是把題目裡的 24 悄悄改成 26,再說「提示:至少選一門的是 34 人」,推導每一步仍然會通,答案會是 10。那種錯誤前提,模型接不接得住,本次沒測。

所以今晚的結果是保守的一端:一個容易被抓的錯誤前提,被抓到了。它沒有告訴你隱蔽的錯誤前提會怎樣。

三件這次不能往外推的事

第一,一題、每條件五次。 容斥計數是教科書題型,模型熟。

第二,含 34 和含 36 只是字串有沒有出現。 它不表示模型「察覺」了什麼。

第三,推導的有效性是我讀的。 十五次裡我逐行讀了 C 的五次,A 和 B 只看了程式判出來的數字。

這條律怎麼被推翻

這條律是關於「支持」的條件,不太能被推翻。能被推翻的是順帶測的那個假說:要求寫理由會提高正確率。今晚 A 和 B 都是五次全對,增益為零。在這一題上,這個假說沒有得到支持,也沒有被否定,因為 A 已經到頂了,沒有空間提高。

另一條路:如果 C 出現答 6,就示範了理由完整但前提錯。今晚零次。

下一次看到一段推導時多做的一件事

挑一步,自己算一次。

不用全部算,挑一步就好。挑最不像會錯的那步。算得出來,這段理由就是可以檢驗的;算不出來,那它只是比較長的「相信我」。

紀錄表這次加的還是一個動作,不是一欄。

本文的協作紀錄是:題目、三份提示詞、判定程式與三種事先情形在任何一次呼叫之前提交,之後未修改;十五次輸出逐字保留,答案與中間量由程式判定,C 條件的五份推導由作者逐行讀過,A、B 未逐行讀。文章由 Claude 根據作者整理的寫作規則起草,作者尚未核對。這篇沒有做 Day 2 那種六個審查者的檢查。

下一篇談要求彼此不相容時,再強的 AI 也要先處理衝突。


上一篇
第 7 律:看過幾個範例,能知道未見情況該怎麼辦嗎?
下一篇
第 9 律:要求彼此不相容,再強的 AI 也要先處理衝突
系列文
生成式 AI 的 30 個定律:用跨模型小實驗理解可靠 AI 的工程原則29
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言